Sau tốt nghiệp, ông làm việc cùng Robert Woodrow Wilson ở trung tâm nghiên cứu Bell Labs tại New Jersey với máy thu vi sóng cryogen (ở nhiệt độ siêu thấp khoảng 123 K) có độ nhạy cao dùng cho quan sát thiên văn vô tuyến. Năm 1964, hai ông phát hiện sóng nhiễu tầng số cao mà không thể giải thích nguyên gốc. Sóng nhiễu đó mang năng lượng rất thấp so với bức xạ xuất phát từ Ngân Hà đồng thời nó có cùng tính chất ở tất cả các hướng. Penzias và Wilson cho rằng, dụng cụ làm việc của mình có lẽ đã bị nhiễu do một nguồn phát sóng nào đó trên Trái Đất. Họ dự đoán và sau đó tự mình phủ nhận rằng khả năng nguồn gây nhiễu xuất phát từ New York. Cuộc kiểm tra an ten đã phát hiện ra anten bị dính đầy phân bồ câu. Tuy nhiên nhiễu sóng vẫn không được khắc phục sau khi đã làm sạch anten.

Sau khi đã loại trừ tất cả các khả năng gây nhiễu khác, họ đã công bố khám phá của mình. Về sau, nguồn sóng nhiễu này được xác định là bức xạ tự nhiên của nền vũ trụ, được hình thành từ Vụ Nổ Lớn và tồn tại như bức xạ tàn dư. Khám phá này đã khẳng định lý thuyết về Vụ Nổ Lớn, đã thay đổi nhiều giả thuyết về sự hình thành vũ trụ.

Penzias và Wilson nhận giải Henry Draper Medal năm 1977 và sau đó một năm là Giải Nobel vật lý.